大型语言模型可以流利地生成语言,但 流畅性并不等同于事实可靠性。大语言模型的根本局限在于其对 参数化记忆——即在训练结束时被冻结的知识,这一时间点被称为训练截止点。
为何大语言模型在孤立状态下会失败
RAG的存在是因为许多实际问题依赖于以下类型的信息: 私有的、 最新的、 版本化的、 领域特定的或 可审计的。若缺乏外部知识,模型将面临以下问题:
- 时间限制:无法了解训练完成后的事件。
- 访问限制:无法访问“暗数据”(企业内部文档)。
- 可追溯性限制:缺乏用于专业问责的可审计记录。
开卷范式
与其通过昂贵的重新训练迫使模型‘记住’一切,不如将架构转向首先从外部语料库中检索特定证据,让大语言模型在看到证据的前提下作答。这带来了 基于证据的信心 而非无依据的信心。